如何在复制活动中配置 Azure SQL 数据库

您所在的位置:网站首页 sql minus结果不对 如何在复制活动中配置 Azure SQL 数据库

如何在复制活动中配置 Azure SQL 数据库

2023-05-28 06:55| 来源: 网络整理| 查看: 265

如何在复制活动中配置 Azure SQL 数据库 项目 05/23/2023

本文概述了如何使用数据管道中的复制活动从数据库复制数据,以及如何向数据库Azure SQL复制数据。

重要

Microsoft Fabric 目前为预览版。 此信息与预发行产品相关,相应产品在发行之前可能会进行重大修改。 Microsoft 不对此处提供的信息作任何明示或默示的担保。 有关 Azure 中的服务,请参阅Azure 数据工厂文档。

支持的配置

有关复制活动下每个选项卡的配置,请分别转到以下部分。

常规 Source 目标 映射 设置 常规

请参阅 常规 设置 指南来配置“ 常规 设置”选项卡。

复制活动的“源”选项卡下的“Azure SQL数据库”支持以下属性。

需要以下属性:

数据存储类型:选择“ 外部”。 连接:从连接列表中选择Azure SQL数据库连接。 如果连接不存在,则通过选择“新建”创建新的Azure SQL数据库连接。 连接类型:选择“Azure SQL数据库”。 表:从下拉列表中选择数据库中的表。 或者检查“编辑”手动输入表名称。 预览数据:选择“ 预览数据 ”以预览表中的数据。

在“ 高级”下,可以指定以下字段:

使用查询:可以选择 “表”、“ 查询”或 “存储过程”。 以下列表描述了每个设置的配置:

表:如果选择此按钮,则从上 表中指定的表中 读取数据。

查询:指定要读取数据的自定义 SQL 查询。 示例为 select * from MyTable。 或选择铅笔图标以在代码编辑器中编辑。

存储过程:使用从源表读取数据的存储过程。 最后一个 SQL 语句必须是存储过程中的 SELECT 语句。

存储过程名称:选中 “编辑 ”框以从源表读取数据时,选择存储过程或手动指定存储过程名称。

存储过程参数:指定存储过程参数的值。 允许的值为名称或值对。 参数的名称和大小写必须与存储过程参数的名称和大小写匹配。

查询超时 (分钟) :指定查询命令执行的超时,默认值为 120 分钟。 如果为此属性设置了参数,则允许的值是时间跨度,例如“02:00:00” () 120 分钟。

隔离级别:指定 SQL 源的事务锁定行为。 允许的值为: None、 ReadCommitted、 ReadUncommitted、 RepeatableRead、 Serializable 或 Snapshot。 如果未指定,则使用 “无 ”隔离级别。 有关更多详细信息,请参阅 IsolationLevel Enum 。

分区选项:指定用于从 Azure SQL 数据库中加载数据的数据分区选项。 允许的值为: 无 (默认) 、 表的物理分区和 动态范围。 当分区选项 ((而不是“无) ”)启用时,从Azure SQL数据库并发加载数据的并行度由复制活动上的并行复制设置控制。

无:选择此设置以不使用分区。

表的物理分区:使用物理分区时,将根据物理表定义自动确定分区列和机制。

动态范围:使用启用了并行的查询时,需要范围分区参数 (?AdfDynamicRangePartitionCondition) 。 示例查询: SELECT * FROM WHERE ?AdfDynamicRangePartitionCondition。

分区列名称:以整数或日期/日期/时间类型指定源列的名称, (int、smallint、bigint、 datetimedatetime2datesmalldatetime或 datetimeoffset) ,范围分区用于并行复制。 如果未指定,系统会自动检测表的索引或主键并将其用作分区列。 分区上限:指定分区范围拆分的分区列的最大值。 此值用于决定分区步幅,不用于筛选表中的行。 对表或查询结果中的所有行进行分区和复制。 分区下限:指定分区范围拆分的分区列的最小值。 此值用于决定分区步幅,不用于筛选表中的行。 对表或查询结果中的所有行进行分区和复制。

其他列:添加其他数据列以存储源文件的相对路径或静态值。 后者支持表达式。 有关详细信息,请转到 在复制期间添加其他列。

目标

复制活动“目标”选项卡下的“Azure SQL数据库”支持以下属性。

需要以下属性:

数据存储类型:选择“ 外部”。 连接:从连接列表中选择Azure SQL数据库连接。 如果连接不存在,则通过选择“新建”创建新的Azure SQL数据库连接。 连接类型:选择“Azure SQL数据库”。 表:从下拉列表中选择数据库中的表。 或者检查“编辑”手动输入表名称。 预览数据:选择“ 预览数据 ”以预览表中的数据。

在“ 高级”下,可以指定以下字段:

写入行为:定义当源是基于文件的数据存储中的文件时的写入行为。 可以选择 “插入”、“ 插入” 或 “存储过程”。

插入:如果源数据有插入,请选择此选项。

更新插入:如果源数据同时包含插入和更新,请选择此选项。

使用 TempDB:指定是使用全局临时表还是物理表作为更新插入的临时表。 默认情况下,服务使用全局临时表作为临时表,并选中此复选框。

选择用户数据库架构:未选中“ 使用 TempDB ”复选框时,如果使用的是物理表,请指定用于创建临时表的临时架构。

注意

必须具有创建和删除表的权限。 默认情况下,临时表将与目标表共享相同的架构。

键列:指定唯一行标识的列名。 可使用单个键,也可使用一系列键。 如果未指定,将使用主键。

存储过程:使用存储过程,用于定义如何将源数据应用于目标表。 此存储过程由每个批处理调用。

存储过程名称:选中 “编辑 ”框以从源表读取数据时,选择存储过程或手动指定存储过程名称。

存储过程参数:指定存储过程参数的值。 允许的值为名称或值对。 参数的名称和大小写必须与存储过程参数的名称和大小写匹配。

大容量插入表锁:选择 “是” 或“ 否”。 使用此设置可提高对没有来自多个客户端的索引的表执行大容量插入操作时的复制性能。 有关详细信息,请转到 BULK INSERT (Transact-SQL)

表选项:指定在基于源架构的表不存在时是否 自动创建目标 表。 选择 “无” 或 “自动创建表”。 当 destination 指定存储过程时,不支持自动创建表。

预复制脚本:在每次运行中将数据写入目标表之前,指定要执行的复制活动的脚本。 此属性可用于清理预先加载的数据。

写入批处理超时:指定批处理插入操作在超时前完成的等待时间。允许的值为 timespan。 默认值为“00:30:00” (30 分钟) 。

写入批大小:指定每个批要插入到 SQL 表中的行数。 允许的值为 integer(行数)。 默认情况下,该服务根据行大小动态确定适当的批大小。

最大并发连接数:指定在活动运行期间建立到数据存储的并发连接的上限。 仅在要限制并发连接时指定一个值。

禁用性能指标分析:此设置用于收集指标(如 DTU、DWU、RU 等),以便进行复制性能优化和建议。 如果担心此行为,请选中此复选框。

映射

对于“ 映射 ”选项卡配置,请转到“ 映射”选项卡下的“配置映射”。

设置

对于 “设置” 选项卡配置,请转到 “设置”选项卡下的“配置其他设置”。

表摘要

下表包含有关 Azure SQL 数据库中复制活动的详细信息。

源 “属性” 说明 值 必选 JSON 脚本属性 数据存储类型 数据存储类型。 外部 是 / Connection 与源数据存储的连接。 < 连接 > 是 连接 连接类型 连接类型。 选择“Azure SQL 数据库”。 Azure SQL 数据库 是 / 表 源数据表。 < 目标表的名称> 是 schema 表 使用查询 用于读取数据的自定义 SQL 查询。 •没有•查询• 存储过程 否

• sqlReaderQuery• sqlReaderStoredProcedureName,storedProcedureParameters

查询超时 查询命令执行的超时,默认值为 120 分钟。 timespan 否 queryTimeout 隔离级别 指定 SQL 源的事务锁定行为。 •没有• 已读• ReadUncommitted• RepeatableRead•序列 化•快照 否 isolationLevel 分区选项 用于从 Azure SQL 数据库加载数据的数据分区选项。 •没有• 表的物理分区• 动态范围 否 partitionOption:• PhysicalPartitionsOfTable• DynamicRange 其他列 添加其他数据列以存储源文件的相对路径或静态值。 后者支持表达式。 • 姓名•价值 否 additionalColumns:•名字•价值 目标 “属性” 说明 值 必选 JSON 脚本属性 数据存储类型 数据存储类型。 外部 是 / Connection 与目标数据存储的连接。 < 连接 > 是 连接 连接类型 连接类型。 选择“Azure SQL 数据库”。 Azure SQL 数据库 是 / 表 目标数据表。 是 schema 表 写入行为 定义当源是基于文件的数据存储中的文件时的写入行为。 •插入• Upsert• 存储过程 否 writeBehavior:•插入• upsert• sqlWriterStoredProcedureName、sqlWriterTableType、storedProcedureParameters 大容量插入表锁 使用此设置可提高对没有来自多个客户端的索引的表执行大容量插入操作时的复制性能。 是或否 否 sqlWriterUseTableLock:true 或 false 表选项 指定在目标表不存在时是否根据源架构自动创建目标表。 •没有• 自动创建表 否 tableOption:• autoCreate 复制前脚本 在每次运行中将数据写入目标表之前要执行的复制活动的脚本。 此属性可用于清理预先加载的数据。 < 预复制脚本 >(string) 否 preCopyScript 写入批处理超时 超时前等待批插入操作完成的时间。允许的值为 timespan。 默认值为“00:30:00” (30 分钟) 。 timespan 否 writeBatchTimeout 写入批大小 每批要插入 SQL 表的行数。 默认情况下,该服务根据行大小动态确定适当的批大小。 < 行数 >(整数) 否 writeBatchSize 最大并发连接数 活动运行期间与数据存储建立的并发连接的上限。 仅在要限制并发连接时指定一个值。 < 并发连接的上限 >(整数) 否 maxConcurrentConnections 禁用性能指标分析 此设置用于收集指标(如 DTU、DWU、RU 等),以便进行复制性能优化和建议。 如果担心此行为,请选中此复选框。 选择或取消选择 否 disableMetricsCollection: true 或 false 后续步骤 如何创建Azure SQL数据库连接 连接到数据流中的Azure SQL数据库


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3